查看原文
其他

Apollo问答丨Apollo是如何把激光感知结果投影到Dreamview的?

阿波君 Apollo开发者社区 2022-07-29


我们每一天都会在开发者技术交流群和小程序问答版块收到许多开发者的技术提问。

每周,可爱的Apollo小哥哥都会精选出被采纳的社区问答进行整理汇总。

让我们一起看看本周的精选问答吧~~若你有更好的回答或建议,欢迎留言或加入开发者交流社群一起讨论分享!各位技术大牛也可以直接在开发者交流群或者小程序回答问题获得相应积分,参加社区布道师评选。
  
  ENJOY THE FOLLOWING  



Q:请问,Apollo是如何把激光感知结果投影到Dreamview的?能不能把激光感知结果投影到图像呢?——@辉
A:

可以按照这个逻辑:感知出来的结果有绝对坐标或者相对车辆的相对坐标,然后通过这个坐标,加上Camera 的参数矩阵,应该就可以做投影了。——@唐赟


投影3D到2D和Dreamview 没关系 和相机内参 外参 激光外参 有关系。Dreamview是基于three.js 即opengl ES2 标准接口在浏览器完成渲染。生成图像数据后通过GL接口显示即可。投影需要首先对齐坐标系时间和外参数变换一般是IMU,转换到相机空间,再通过内参转换到相机投影平面,根据投影模型,检测Z值和相机矩形框,觉得是否可以被相机看见。最后将生成好的图像矩阵数据上传到GL渲染窗口即可。——@王翼


点云投影到Dreamview和投影到相机图像,我认为本质是一样的,就是3D点从激光坐标系变换到相机坐标系(3D到3D),再到像素坐标系(3D到2D)的过程。区别在于,Dreamview里面的相机是虚拟相机,虚拟相机内外参由Dreamview指定,渲染的方式用WebGL实现;而投影到图像上的内外参由实际相机决定,点云渲染到图像上一般要自己写代码实现,比如Autoware里面的Points2image就是实现这个功能的。——@卢飞腾


Dreamview实现是用的threeJS封装的相机模型,Dreamview里的场景都是将多感知结果转换到同一坐标系下构建出来的。Dreamview的相机位置和朝向是可以变的,要把激光投影到图像就是把激光雷达坐标系下的点云转换到相机的二位坐标系,需要知道激光雷达和相机的相对关系,而且激光雷达和相机的采样点不对齐,所以需要IMU信息进行融合。——@冯润泽



Q:

I want to test apollo perception with my usb webcam. I updated the video feed with /dev/video2 and I'm having issues trying to get any camera feed in dreamview. I'm close because the camera lights up when I run the start command for camera however there is no feed in dreamview. After I get this running I want to run apollo on camera's and radar only after I get perception test.——@Jon

A:

可以先看看Cyber Monitor 有没有数据。另外建议使用Apollo5.5以下版本。——@唐赟



Q:

请教下,这个动态库由哪些函数编译过来?module_library : "/apollo/bazelbin/modules/perception/onboard/component/libperception_component_camera.so"——@Hamilton

A:

直接看BUILD 文件即可。——@唐赟



Q:

Apollo D kit车通电后一直有滴滴响,底盘控制如何刷新?——@风起云涌

A:

刷新一下底盘伺服控制。——@童言



Q:

修改这段代码可以实现改变RoutingLine的颜色和宽度,但是为什么通过对pathMesh.visible直接赋值为true,实现RoutingLine的一直显示呢?——@田使的翅膀

A:

这个应该不是一直显示,这个只是一个显示Routing图层的开关,至于显示不显示还是要看有没有触发Routing。——@王方浩



自社区推出问答积分赛活动以来,Apollo小哥哥每天在社区交流群和小程序收集提问,并收到了很多热心的解答,大家互帮互助的精神非常赞!


为了奖励为社区作出贡献的开发者,Apollo小哥哥每周将选出积分榜第一名,送出Apollo定制周边一份~

本周积分榜新鲜出炉,快看看自己有没有上榜吧,第一名记得找小哥哥领奖哦~


 问答积分榜 

微信昵称

提问积分

回答积分

总积分

洋~


_

30

30

Jon

5

20

25

王翼


_

20

20

少帅


_

20

20

龙舟@万集科技


_

20

20

jhon


_

20

20

虫二

15


_

15

lufeiteng

5

10

15

猴子

5

10

15

唐赟


_

10

10

魂石Simon

10


_

10

吴福刚


_

10

10

冯润泽


_

10

10

DrWangKL

10


_

10

一小点点

10


_

10

孙晓伟-深圳-计算机


_

10

10

Donkey-SC


_

10

10

苏格拉·笛

10


_

10


各位技术大牛也可以直接在开发者技术交流群或者小程序问答版块回答问题获得相应积分,参加社区布道师评选,为开发者答疑解惑,更有机会获得小灶辅导~


报名可戳:社区布道师参与评选。


©️著作权归作者所有,如需转载,请注明出处,否则将追究法律责任。
 



您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存